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© Procede et dispositif de traitement d'images pour construire une image a partir d'images 
adjacentes. 
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© L'invention concerne un procede de traitement 
d'images, pour construire une image dite cible (lo), a 
partir d'images adjacentes, de cadrage fixe, dites 
images sources (11 ,..,lj..,ln), ayant des points de fuite 
sensiblement confondus. Ce procede comprend des 
etapes de : numerisation des images ; determination, 
pour un des pixels de I'image cible (lo), de I'adresse 
(Aq) d'un point dit correspondant, dans une image 
source (Ij) parmi toutes les images sources ; deter- 
mination de la valeur (F) de la luminance en ce point 
correspondant ; attribution au pixel de depart dans I' 
image cible (lo) de la valeur de luminance (F) de ce 
pixel correspondant ; et repetition de ces etapes 
pour chacun des pixels de I'image cible (lo). 

L'invention concerne aussi un dispositif mettant 
en oeuvre ce procede et comprenant un systeme de 
n cameras reelles fixes (C1,..Cn) qui fournissent n 
images sources (11,. .In) adjacentes couvrant un 
champ de vue de grand angle, et qui ont des points 
de fuite (P) communs ; et un systeme de construc- 
tion d'image (100) simulant une camera dite virtuelle 
(Co), mobile, pour fournir une sous-image dite cible 



(lo), du champ de vue de grand angle, et construite 
a partir des images sources de meme point de fuite 
(P)- 

Application : Dispositifs de surveillance. 
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L'invention concerne un procede de traitement 
d'images, pour construire une image dite cible, a 
partir d'images adjacentes, de cadrage fixe, dites 
images sources, lesdites images cible et source 
ayant des points de fuite sensiblement confondus. 

L'invention concerne egalement un dispositif 
de traitement d'images comprenant : 

- un systeme de n cameras reelles fixes, dis- 
posers de maniere a ce que leurs champs 
de vue individuels fusionnent pour former un 
seul champ de vue de grand angle pour 
I'observation d'une scene panoramique, 

- un systeme de construction d'image simulant 
une camera dite virtuelle, mobile, balayant 
continuement la scene panoramique pour en 
fournir une sous-image dite cible, correspon- 
dant a une section arbitraire du champ de 
vue de grand angle, et construite a partir des 
images sources adjacentes fournies par les n 
cameras reelles, cette camera virtuelle ayant 
un point de fuite confondu avec, ou proche 
de celui des cameras reelles. 

L'invention trouve son application dans le do- 
maine de la telesurveillance, ou bien dans le do- 
maine de la television, lorsque des prises de vue 
couvrant des grands champs sont necessaires par 
exemple dans le cas d'enregistrement de scenes 
de manifestations sportives. L'invention trouve aus- 
si son application dans le domaine de la construc- 
tion automobile pour realiser des retroviseurs peri- 
pheriques et panoramiques sans angle mort. 

Un dispositif de traitement d'image est deja 
connu de la demande de brevet W092-14341. Ce 
document decrit un systeme de traitement d'image 
applique a la television. Ce dispositif comprend 
une station emettrice inclant une pluralite de came- 
ras fixes arrangees de maniere adjacente pour que 
leurs champs de vue fusionnent et forment un 
champ de vue de grand angle. Ce systeme com- 
prend aussi une station de traitemnt incluant des 
moyens pour generer un signal video composite de 
la totalite de I'image correspondant au champ de 
vue de grand angle, et des moyens pour selection- 
ner une sous-image de cette image composite. Ce 
systeme comprend enfin des moyens, c'est-a-dire 
un moniteur, pour afficher cette sous-image. Cette 
sous-image correspond a un champ de vue d'angle 
inferieur a celui de I'image composite dit sous- 
section du champ de vue de grand angle. 

Ce dispositif de traitement d'image est applica- 
ble uniquement aux systemes de television classi- 
ques, ou I'image est formee au moyen d'un fais- 
ceau de balayage ligne apres ligne. 

La station de traitement permet a un utilisateur 
d'operer lui-meme la selection de la sous-section 
du champ de vue de grand angle. La sous-image 
correspondante a la meme dimension que I'image 
fournie par une camera individuelle. L'utilisateur 



selectionne cette sous-image en faisant varier le 
point de depart du balayage vis-a-vis de I'image 
composite correspondant au champ de vue de 
grand angle. Le champ de vue de grand angle a un 

5 axe parallele au balayage video, d'ou il resulte que 
le point de depart du balayage video de la sous- 
image peut etre deplace arbitrairement et continue- 
ment parallelement a cet axe. 

Eventuellement, Tangle du champ de vue au- 

w quel la sous-image correspond peut etre inferieur a 
celui d'une camera reelle. Mais la localisation de la 
sous-image n'inclut pas de deplacement perpendi- 
culairement au balayage ; sa localisation inclut 
seulement des deplacements parallelement a ce 

15 balayage. Et la formation de cette sous-image n'in- 
clut pas d'effet de zoom vis-a-vis de I'image com- 
posite, c'est-a-dire de changement de focale de la 
sous-image vis-a-vis de la focale des cameras de 
prise de vue. 

20 Done la station de traitement d'image com- 

prend des moyens pour construire ligne apres li- 
gne la sous-image video selectionnee. Ces moyens 
incluent essentiellement un circuit de contrdle de la 
synchronisation des signaux video des differentes 

25 cameras. 

La presente invention a pour but de fournir un 
dispositif capable de simuler une camera mobile, 
balayant le champ de vue de grand angle couvert 
par les n cameras fixes dont les champs de vue 

30 fusionnent. 

Le but de la presente invention est tout parti- 
culierement de fournir un tel dispositif simulant une 
camera munie de toutes les facilites que pourraient 
avoir une camera mobile existant reellement : 

35 c'est-a-dire a partir d'un observateur qui est fixe, 
des possibilites de deplacements angulaires hori- 
zontaux vers la gauche ou la droite d'une scene 
panoramique a observer ou a surveiller, des possi- 
bilites de deplacements angulaires verticaux vers le 

40 haut ou vers le bas de cette scene, des possibilites 
de rotation, et en outre des possibilites de zoom 
sur une partie de la surface de cette scene. 

Ce but est atteint en mettant en oeuvre un 
procede de traitement d'images, pour construire 

45 une image dite cible, a partir d'images adjacentes, 
de cadrage fixe, dites images sources, lesdites 
images cible et source ayant des points de fuite 
sensiblement confondus, caracterise en ce qu'il 
comprend des etapes de : 

so - numerisation des images, 

- determination, pour un des pixels de I'image 
cible, de I'adresse d'un point dit correspon- 
dant, dans une image source parmi toutes les 
images sources, 

55 - determination de la valeur de la luminance en 
ce point correspondant, 

- attribution au pixel de depart dans I'image 
cible de la valeur de luminance de ce pixel 
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correspondant, 

- et repetition de ces etapes pour chacun des 
pixels de I'image cible. 

Selon I'invention, pour mettre en oeuvre ce 
procede, on propose en outre un dispositif de 
traitement d'images incluant : 

- un systeme de n cameras reelles fixes, dis- 
posers de maniere a ce que leurs champs 
de vue individuels fusionnent pour former un 
seul champ de vue de grand angle pour 
I'observation d'une scene panoramique, 

- un systeme de construction d'image simulant 
une camera dite virtuelle, mobile, balayant 
continuement la scene panoramique pour en 
fournir une sous-image dite cible, correspon- 
dant a une section arbitraire du champ de 
vue de grand angle, et construite a partir des 
images dites sources adjacentes fournies par 
les n cameras reelles, cette camera virtuelle 
ayant un point de fuite confondu avec, ou 
proche de celui des cameras reelles, 

caracterise en ce que ce systeme de traitement 
d'image est numerique et en ce que le systeme de 
construction (100) de I'image cible lo inclut : 

- un calculateur d'adresse, pour faire corres- 
ponds a une adresse d'un pixel dans I'image 
cible, un point a une adresse dans une des 
images sources, 

- des moyens pour calculer la valeur de lumi- 
nance du point a I'adresse trouvee dans 
I'image source, et pour affecter cette valeur 
de luminance au pixel de depart a I'adresse 
dans I'image cible. 

Ainsi, le dispositif selon I'invention permet de 
realiser la construction d'une image cible comme 
celle que fournirait une camera supposee, se de- 
plagant de maniere continue ; cette image cible est 
formee a partir de plusieurs images sources adja- 
centes fournies chacune par une camera du grou- 
pe de cameras disposees de maniere fixe vis-a-vis 
de la scene a observer ; et, a partir de cette 
construction, ce dispositif peut fournir, par I'afficha- 
ge sur ecran, ou par enregistrement : 

- soit une restitution sequentielie, image par 
image, de partitions de la scene observee, 
avec eventuellement effet de zoom, 

- soit une restitution continue par balayage de 
la scene observee avec effet de site et d'azi- 
mut ou de rotation. 

Dans une mise en oeuvre particuliere, ce dis- 
positif est caracterise en ce que le systeme de 
reconstruction de I'image cible comprend : 

- des premiers moyens de stockage des para- 
metres relatifs a la camera virtuelle pour four- 
nir au calculateur d'adresse le facteur 
d'echelle et I'orientation de I'axe optique de 
la camera virtuelle dans un repere terrestre 
orthonorme fixe et independant des cameras, 



definie par ses angles d'azimut, de site et de 
rotation ; 

- des seconds moyens de stockage des para- 
metres relatifs aux cameras reelles pour four- 

5 nir au calculateur d'adresse le facteur 

d'echelle et I'orientation de I'axe optique de 
chacune des cameras reelles definie par 
leurs angles d'azimut, de site et de rotation 
dans ledit repere terrestre fixe ; 
w - un generateur d'adresse pour generer les 
adresses (Ao) des pixels de I'image cible, 
pixel par pixel, de maniere a couvrir la totalite 
de I'image cible, le calculateur d'adresse de- 
terminant alors I'image source particuliere et 
is le point a I'adresse (Aq) dans cette image 

source, qui correspond a chaque pixel de 
I'image cible a partir des parametres des 
cameras virtuelle et reelles. 
Un autre probleme technique se pose a la 
20 construction de I'image cible. En effet, on suppose 
que I'on dispose d'une pluralite de cameras posi- 
tionnees de maniere adjacentes et de telle sorte 
que le champ couvert par chacune ne laisse 
echapper aucune zone de la scene panoramique a 
25 construire : on suppose done que Ton dispose de 
toutes les donnees pour construire I'image cible. 
Neanmoins, a chaque frontiere entre les cameras, 
au passage d'une image d'une camera, a une autre 
image d'une camera adjacente, la difference d'an- 
30 gle de visee de ces deux cameras, pour deux 
zones adjacentes de la scene enregistrees par ces 
deux cameras differentes, cree de grandes distor- 
sions d'image. II en resulte que les partitions qui 
sont realisees a cheval sur deux zones de la scene 
35 enregistree par deux cameras differentes sont tres 
inconfortables a visualiser et manquent totalement 
de precision. 

Un autre but de I'invention est done de fournir 
une telle construction d'image cible qui est corri- 
40 gee en distorsion d'image a la frontiere entre deux 
cameras, de telle sorte que cette ou ces frontieres 
soit(ent) totalement invisible(s) par I'utilisateur. 

Ce but est atteint au moyen d'un dispositif de 
traitement d'image tel que defini precedemment et 
45 en outre caracterise ce que le calculateur d'adres- 
se comporte : 

- des premiers moyens de construction d'un 
modele (MCo) de camera virtuelle avec pro- 
jection a travers le point de fuite, 

50 - des seconds moyens de construction de mo- 
deles (MC1-MCn) de cameras reelles, avec 
projection a travers le point de fuite, et avec 
corrections des distorsions et defauts de 
perspective. 

55 Dans une mise en oeuvre particuliere, ce dis- 

positif est caracterise en ce que le calculateur 
d'adresse comporte : 
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- des premiers moyens de calcul de transfor- 
mation geometrique pour appliquer a chaque 
pixel a une adresse (Ao) de I'image de la 
camera virtueile, une transformation geome- 
trique dite "transformation perspective" inver- 
se (H~ 1 ), qui prend en compte le modele 
(MCo) de la camera virtueile fourni par les 
premiers moyens de construction, et les pa- 
rametres angulaires d'azimut, de site, de ro- 
tation et le facteur d'echelle de cette camera 
virtueile, fournis par les premiers moyens de 
stockage, pour determiner a partir de cette 
transformation perspective inverse (H~ 1 ), le 
positionnement dans ledit repere terrestre, du 
rayon lumineux passant par ce pixel et le 
point de fuite, 

- des moyens pour stocker le positionnement 
du rayon lumineux obtenu par la transforma- 
tion perspective inverse (H~ 1 ), 

- des moyens de selection pour selectionner 
I'image source particuliere traversee par ce 
rayon lumineux, 

- des seconds moyens de calcul de transfor- 
mation geometrique pour appliquer a ce 
rayon lumineux dans ledit repere terrestre, 
une transformation geometrique dite "trans- 
formation perspective directe" (H1-Hn), qui 
prend en compte les modeles des cameras 
reelles fournis par les seconds moyens de 
construction, les parametres angulaires d'azi- 
mut, de site, de rotation, et le facteur d'echel- 
le de la camera reelle correspondante, four- 
nis par les seconds moyens de stockage, 

- et des moyens de stockage pour fournir, a 
partir de cette transformation perspective di- 
recte (H1-Hn), I'adresse (Aq) dans I'image 
source particuliere qui correspond au rayon 
lumineux, et done au pixel d'adresse (Ao) 
dans I'image cible. 

Avec ce dispositif, I'utilisateur qui surveille une 
scene panoramique obtient exactement le meme 
confort, et les memes services qu'un utilisateur qui 
disposerait d'une camera mobile, avec zoom, et 
avec des moyens mecaniques pour realiser la va- 
riation de I'orientation de I'axe optique, e'est-a-dire 
pour realiser des variations de site et d'azimut de 
la visee, ainsi que des rotations autour de I'axe 
optique de la camera. L'avantage est que les 
moyens mecaniques sont evites. Ces moyens me- 
caniques, qui incluent des moteurs de rotation me- 
canique d'angles de site et d'azimut, et un moteur 
de reglage du zoom, sont toujours lies a des 
inconvenients : d'abord ils peuvent se bloquer, 
ensuite les deplacements engendres sont tres 
lents. De plus, il sont tres onereux. Enfin, etant le 
plus souvent installes en exterieur, ils se degradent 
rapidement du fait des intemperies. Les moyens 
electroniques de traitement d'image utilises selon 



I'invention evitent tous ces inconvenients, car ils 
sont tres precis, fiables, tres rapides et faciles a 
commander. En outre, ils peuvent etre disposes en 
interieur, et ainsi a I'abri des intemperies. De plus, 
5 les moyens electroniques sont facilement program- 
mables pour un fonctionnement automatique. Enfin, 
ils sont moins onereux que les moyens mecani- 
ques. 

Ainsi I'utilisateur obtient, avec les moyens de 

w I'invention, d'abord une image depourvue de distor- 
sions et ensuite des plus grandes precisions, et 
facilites d'execution des manoeuvres de visee, que 
s'il disposait de moyens mecaniques. En outre, 
une scene panoramique de plus grand champ peut 

15 etre observee, puisque Ton peut observer des 
champs de 180° ou meme 360° selon le nombre 
de cameras utilisees. Par ailleurs, les manoeuvres 
peuvent etre aisement programmers. 

En matiere de surveillance, il en resulte un 

20 grand progres. Dans le domaine de la realisation 
de retroviseurs panoramiques pour automobiles, 
I'importance du progres est aussi tres grande. 

Le fait d'utiliser plusieurs cameras pour faire la 
saisie des donnees necessaires a la construction 

25 de I'image cible n'est pas un desavantage, car un 
tel ensemble de cameras fixes, a CCD (dispositif a 
couplage de charge), est devenu moins onereux 
que ne le seraient les dispositifs mecaniques de 
variation de site, d'azimut et de rotation, ainsi que 

30 de zoom, associes a une seule camera reelle mo- 
bile. 

Dans une mise en oeuvre particuliere ce syste- 
me est caracterise en ce que les moyens de deter- 
mination de luminance comprennent : 

35 - un interpolateur pour calculer une valeur la 
plus probable d'une fonction de luminance 
(F) au point I'adresse (Aq) trouvee par le 
calculateur d'adresse dans I'image source 
fournie les moyens de selection : 

40 - des troisiemes moyens de stockage pour af- 
fecter la valeur (F) de luminance correspon- 
dant au point a I'adresse (Aq) trouvee dans 
I'image source, au pixel de depart dans I'ima- 
ge cible a I'adresse (Ao) fournie par le gene- 

45 rateur d'adresse et en ce que le systeme de 

reconstruction de I'image cible comprend 
aussi : 

- une interface pour permettre a un utilisateur 
de definir les parametres de la camera vir- 
50 tuelle, ces parametres incluant son facteur 

d'echelle et I'orientation de son axe optique. 
L'invention est decrite ci-apres en detail, en 
reference avec les figures schematiques annexees 
dont : 

55 - la FIG.1A represente une vue du dessus 
montrant les traces des differents plans ima- 
ges, dans le plan horizontal du repere terres- 
tre, dans le cas ou les cameras reelles ont 
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des plans images perpendiculaires a ce plan 
horizontal ; 

- la FIG. 1B represente le repere terrestre Px, 
Py, Pz, vu en projection dans le plan horizon- 
tal ; 5 

- la FIG.1C represente en vue plane, un plan 
image source avec son systeme d'axes de 
coordonnees particulier ; 

- la FIG.1D represente en vue plane, le plan 
image cible avec son systeme d'axes de w 
coordonnees particulier ; 

- la FIG. 1E represente I'effet de la delimitation 
d'une section du champ de vue de grand 
angle de deux cameras reelles adjacentes, au 
moyen des parametres choisis par I'utilisa- w 
teur pour la camera virtuelle, pour construire 

une sous-image d'une scene panoramique ; 

- la FIG.1F represente I'image cible construite 
par la camera virtuelle definie par ces para- 
metres, cette image cible etant composee 20 
d'une premiere partie d'image construite a 
partir de I'image source fournie par la pre- 
miere des deux cameras reelles, et d'une 
seconde partie d'image construite a partir de 
I'image source fournie par la seconde de ces 25 
cameras; 

- la FIG.1G represente une disposition relative 
de trois cameras reelles adjacentes pour cou- 
vrir un champ de vue de 180° ; 

- la FIG.2 qui represente en blocs fonctionnels 30 
le dispositif de traitement d'image avec le 
systeme de construction de I'image cible, les 
cameras reelles, I'interface-utilisateur et le 
systeme de visualisation de I'image cible ; 

- la FIG.3 qui represente le dispositif de traite- 35 
ment d'image sous forme de blocs fonction- 
nels plus detailles que la FIG.2 ; 

- la FIG. 4 qui illustre le calcul d'une valeur 
d'une fonction de luminance relativement a 

une adresse dans une image source ; 40 

- la FIG. 5A qui illustre la modelisation des 
cameras reelle et virtuelle ; 

- la FIG. 5B qui illustre en projection sur le 
plan horizontal du repere terrestre, I'effet des 
perspective et distorsion sur les positions des 45 
points correspondants de meme luminance 
dans I'image cible et dans I'image source 
traversees par un meme rayon lumineux pas- 
sant par ces points ; 

- la FIG.6 qui represente, sous forme de blocs 50 
fonctionnels, le calculateur d'adresse qui cal- 

cule I'adresse du point dans I'image source, 
correspond a un pixel a une adresse donnee 
dans I'image cible ; 

- la FIG.7A qui represente une premiere image 55 
source numerique telle que formee par une 
premiere camera fixe reelle et la FIG.7B qui 
represente une seconde image source telle 



que formee par une seconde camera fixe 
reelle adjacente a la premiere 

- la FIG.7C represente une image cible numeri- 
que reconstruite de la meme facon que dans 
le cas de la FIG. 1F, sur laquelle est mise en 
evidence les defauts de distorsion et pers- 
pective entre la premiere partie d'image cible 
construite a partir de la premiere image sour- 
ce, et la seconde partie d'image cible 
construite a partir de la seconde image sour- 
ce ; 

- la FIG.7D represente I'image cible numerique 
de la FIG.7C apres traitement par le dispositif 
de traitement d'image ou les defauts de dis- 
torsion et perspective sont elimines. 

I/ Le systeme de prise de vue 

La Fig.lG montre une disposition possible de 
plusieurs cameras fixes reelles pour enregistrer les 
donnees relatives a une scene de 180° d'angle. 
L'enregistrement de cette scene panoramique est 
fait avec trois cameras fixes C1, C2, C3. Les 
champs optiques des cameras sont tels qu'absolu- 
ment tous les details de la scene panoramique sont 
enregistres par une camera ou par une autre, de 
maniere a ne laisser echapper aucun objet de la 
surveillance. Les cameras sont disposees de ma- 
niere a avoir un point de fuite commun P (en 
anglais : VIEW POINT) ou des points de fuite tres 
proches. 

Les axes PZ1, PZ2, PZ3 represented respecti- 
vement les axes optiques des cameras C1 , C2, C3 
; et les points 01, 02, 03 represented respective- 
ment les centres geometriques des images 11, 12, 
13, dans les plans images, sur les axes optiques. 

On pourrait effectuer une surveillance horizon- 
tale sur 360 0 en disposant de maniere appropriee 
6 cameras fixes. Mais on pourrait aussi effectuer 
une surveillance verticale, ou dans les deux direc- 
tions. L'homme du metier peut, sans description 
plus approfondie des diverses dispositions des ca- 
meras fixes les unes vis-a-vis des autres, realiser 
toute sorte d'observation d'une scene panorami- 
que. 

En reference avec la FIG. 1A, le dispositif de 
prise de vue comprend une pluralite de n cameras 
reelles fixes, de focales fixes et connues, dispo- 
sees de maniere adjacente, et de telle sorte que 
leurs champs de vue individuels fusionnent pour 
couvrir un champ de vue de grand angle. Ainsi, les 
n camera fixes adjacentes fournissent n images 
fixes adjacentes, de sorte que ce dispositif de prise 
de vue peut surveiller une scene panoramique. Les 
champs optiques de cameras sont tels que tous les 
details de la scene panoramique sont enregistres 
par une camera ou par une autre, pour ne laisser 
echapper aucun objet de la surveillance. 
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Pour obtenir ce resultat, ces n cameras fixes 
adjacentes sont en outre disposees de telle sorte 
que leurs centres optiques P, encore appeles 
points de fuite (ou VIEW POINT en anglais) coinci- 
dent. Le point de fuite d'une camera est defini 
comme le point tel que tout rayon issu d'une 
source lumineuse et passant par ce point, traverse 
I'optique de la camera sans deviation. 

En fait, les points de fuite des n cameras ne 
peuvent pas physiquement coTncider. Mais on 
considere ci-apres que la condition de coincidence 
est suffisamment bien remplie si la distance qui 
separe chacun de ces points de fuite les uns des 
autres est petite vis-a-vis de leur distance a la 
scene panoramique filmee, par exemple si leur 
distance respective est 5 cm ou 10 cm, et la 
distance a la scene panoramique est 5 m. Ainsi la 
condition de coincidence est estimee remplie si le 
rapport de ces distances est de I'ordre de, ou 
superieur a, 50, et il n'est pas besoin, selon Inven- 
tion, d'utiliser des optiques a miroirs difficiles a 
ajuster, et couteuses, pour arriver a une coinciden- 
ce rigoureuse des points de fuite. 

II/ La formation des images par les cameras 

Le but de 1'invention est de fournir un systeme 
de reconstruction d'image numerique qui simule 
une camera mobile capable, avec des reglages 
choisis par un utilisateur, de fournir une image 
numerique de n'importe quelle partie, ou sous- 
image, de la scene panoramique enregistree par 
les n cameras fixes. 

Les n cameras sont numerotees C1.... Ci, Cj... . 
Cn ; ces cameras fournissent respectivement des 
images dites sources numeriques 11..., li, In. 
Dans ce qui suit, on considerera par exemple les 
images sources li et lj formees par deux cameras 
reelles fixes adjacentes Ci et Cj. 

Ces cameras Ci et Cj reelles fixes forment des 
images respectives de la scene panoramique dans 
des plans images sources adjacents li et lj. Sur la 
FIG. 1A, les axes PZi et PZj, passant respective- 
ment par les centres geometriques Oi et Oj des 
images sources li et lj, represented les axes opti- 
ques des cameras reelles fixes Ci et Cj. 

En reference avec la FIG. 1 B, on definit 
d'abord un repere terrestre Px, Py, Pz, d'axes 
orthogonaux dans lequel les axes Px et Pz sont 
horizontaux, et I'axe Py est vertical. 

Les images sources, telles que les images li et 
lj, sont numerisees, et chaque pixel m de ces 
images est repere par ses coordonnees dans le 
plan image. A cet effet, comme represents sur la 
FIG.1C, on definit dans chaque plan image un 
repere de coordonnees rectangulaires (OiXi, OiYi) 
et (OjXj, OjYj)) dans lequel les axes OiXi, ou OjXj, 
sont horizontaux, c'est-a-dire dans le plan du repe- 



re terrestre Px, Pz. Les plans images definis par 
(OiXi, OiYi) et (OjXj, OjYj) sont perpendiculaires 
aux axes optiques PZi, et PZj et ont pour centres 
geometriques Oi et Oj respectivement. 
5 Une fois etablis les reperes individuels lies a 

chaque plan image des cameras, ces plans images 
sources fixes peuvent etre lies au repere terrestre 
par : 

- leur angle d'azimut (en anglais PAN) 6i, 6j, 

w - leur angle de site (en anglais TILT) #i, $j. 

L'angle d'azimut Gi ou 9j, est Tangle que fait 
un plan vertical contenant I'axe optique PZi ou PZj, 
avec I'axe horizontal Pz du repere terrestre. C'est 
done un angle de rotation horizontale autour de 

15 I'axe vertical Py. 

L'angle de site 8i ou 6j est Tangle que fait 
I'axe optique PZi ou PZj avec le plan horizontal 
(Px, Pz). C'est done un angle de rotation verticale 
autour d'un axe horizontal, I'axe OiXi ou OjXj de 

20 chaque plan image. 

Dans Texpose ci-apres, pour des raisons de 
simplicite, on a suppose, a titre d'exemple, en 
reference avec la FIG.1A que les plans images li, lj 
sources fournis par les cameras fixes Ci, Cj etaient 

25 verticaux, c'est-a-dire que leurs angles de site $i, 
$j etaient nuls. 

Pour des raisons de simplicite egalement, on a 
note par la meme reference sur la FIG. 1A la trace 
des plans et des axes, et les plans et axes corres- 

30 pondants, aussi bien pour les images sources que 
pour Timage cible decrite plus loin. 

La FIG.1A, qui est une vue du dessus schema- 
tique des images formees, laisse done apparaitre 
seulement les traces li et lj des plans images 

35 sources fixes representees par des segments dans 
le plan horizontal Px, Pz. 

La FIG.1E montre par exemple les images li et 
lj contigues de la scene panoramique fournies par 
deux cameras fixes Ci et Cj adjacentes. Sur la FIG. 

40 1E, pour la simplicite de Texpose, les images li et 
lj sont representees toutes les deux projetees dans 
un meme plan, alors que dans la realite, ces ima- 
ges font entre elles un angle egal a celui des axes 
optiques des cameras fixes. Dans ces images, 

45 Tutilisateur peut choisir de regarder n'importe quel- 
le sous-image delimitee par la ligne Jo, plus ou 
moins a gauche ou a droite, plus ou moins en haut 
ou en bas, avec le meme grandissement que les 
cameras fixes, ou avec un grandissement supe- 

50 rieur, ou eventuellement avec un grandissement 
inferieur. 

La camera mobile simulee est capable de 
construire une image dite cible lo a partir des 
parties d'image source Si, Sj delimitees par la ligne 
55 Jo de la FIG. 1E. Cette camera referencee Co ci- 
apres est appelee camera virtuelle du fait qu'elle 
simule une camera non reellement existante. Evi- 
demment cette camera mobile n'est pas limitee a 
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explorer les deux images li, Ij. Elle peut explorer 
toutes les images sources de 11 a In. 

Cette camera virtuelle Co peut etre definie de 
la meme fagon que les cameras reelles fixes par : 

- son angle d'azimut 6o 

- son angle de site <i>o 

- son angle de rotation <£o 

- et son grandissement (effet de zoom) concre- 
tise par sa longueur focale POo, notee zo, 

a condition de choisir son point de fuite P confon- 
du avec les points de fuite P des cameras reelles 
fixes, Oo etant le centre geometrique de Timage 
cible lo. Le point de fuite de la camera virtuelle est 
confondu avec le point de fuite approximatif defini 
plus haut pour les cameras reelles. 

La FIG. 1A montre la trace notee lo du plan 
image de la camera virtuelle dans le plan horizontal 
et son axe optique PZo passant par le centre 
geometrique Oo de I'image cible lo. 

Dans la definition de cette camera virtuelle Co 
mobile, Tangle d'azimut 6o est Tangle que fait le 
plan vertical contenant son axe optique PZo avec 
Taxe Pz horizontal du repere terrestre ; Tangle de 
site $o est Tangle que fait son axe optique PZo 
avec le plan horizontal Px, Pz du repere terrestre ; 
son angle ^o est Tangle de rotation de la camera 
virtuelle autour de son propre axe optique, ce der- 
nier etant fixe ; enfin, sa focale POo est variable, 
ce qui permet de changer le grandissement de 
cette image cible par rapport a celui des images 
sources (effet de ZOOM). 

Ainsi, en faisant varier les angles d'azimut et 
de site, 8o et $o, son angle de rotation ^o et la 
focale POo, la camera virtuelle est tout a fait assi- 
milable a une camera mobile qui balaye le champ 
de vue de grand angle forme par les champs de 
vue fusionnes des differentes cameras reelles fixes 
C1 a Cn. 

On remarquera que la camera virtuelle Co peut 
viser une partie petite (ou sous-section), delimitee 
par Jo, du champ de vue de grand angle et en 
realiser une image agrandie lo par exemple de 
meme dimension finale que chacune des images 
11 ...In fournie par chacune des cameras reelles 
C1 ... Cn, en jouant sur sa focale variable POo. 

On remarquera egalement que le deplacement 
du champ de vue de la camera mobile Co peut 
etre continu et arbitraire ; ce champ de vue corres- 
pondant a Jo peut se trouver a cheval sur deux 
parties (Si,Sj) d'image li et Ij contigues en LO, 
fournies par deux cameras adjacentes Ci et Cj. 

Dans ce cas, Timage lo construite par la came- 
ra virtuelle Co contient deux parties d'image diffe- 
rentes, Tune loi etant construite a partir des infor- 
mations Si contenues dans Timage numerique li, et 
Tautre loj etant construite a partir des informations 
Sj contenues dans Timage numerique Ij. Dans la 
FIG.1A, loi et loj represented les traces des ima- 



ges cibles loi et loj dans le plan horizontal. 

Comme pour les images reelles, on definit 
maintenant, en reference avec la FIG.1D, dans le 
plan de Timage cible numerique lo, un repere de 

5 coordonnees rectangulaires (Oo Xo, Oo Yo) dans 
lequel Taxe Oo Xo est horizontal, c'est-a-dire dans 
le plan horizontal du repere terrestre Px, Pz. Le 
pixel Oo etant le centre geometrique de Timage 
cible lo, en outre situe sur Taxe optique PZo de la 

w camera virtuelle Co. Chaque pixel m' du plan ima- 
ge cible lo est done repere par ses coordonnees 
dans ce systeme d'axes rectangulaires (Oo Xo, Oo 
Yo). 

On definit egalement un cadrage de Timage 
is cible, c'est-a-dire ses dimensions en nombre de 
pixels selon la direction horizontale et nombre de 
lignes selon la direction verticale. 

Ill/ La methode de construction de I'image ci- 
20 ble a partir des images sources 

La tache des moyens de traitement d'images 
numeriques selon Tinvention est done la construc- 
tion de "Timage cible" fournie par la camera vir- 

25 tuelle, a partir des "images sources" fournies par 
les cameras reelles fixes. 

On a vu que, dans la construction de Timage 
cible lo, se posait un probleme technique parce 
que les images li et Ij fournies par les cameras 

30 reelles adjacentes, telles que representees sous 
forme d'images numeriques de paysage sur les 
FIG.7A et 7B, respectivement montrent des distor- 
sions qui font qu'elles ne se raccordent pas correc- 
tement : en particulier certaines parties de lignes 

35 droites sont courbes, les verticales ne sont pas 
verticales etc. Ce qui fait que, au raccord, ces 
lignes vont etre secantes au lieu d'etre dans le 
prolongement les unes des autres. De plus, les 
parties d'images sources de part et d'autre du 

40 raccord proviennent de parties de la scene panora- 
mique a observer qui sont vues sous des perspec- 
tives differentes. D'ou il resulte que les parties 
d'image cible loi et loj pourraient etre mal raccor- 
dees, comme il apparait dans Timage numerique 

45 cible representee a titre d'exemple sur la FIG.7C et 
formee par la juxtaposition pure et simple des 
parties des images numeriques des FIG.7A et 7B. 

La presente invention propose une methode et 
des moyens pour s'affranchir de ces defauts et 

50 fournir une image numerique reconstruite qui est 
depourvue des defauts de distorsions et de pers- 
pectives, et dont les parties loi, loj qui la compo- 
sent se raccordent de maniere telle que la droite 
frontiere est invisible pour Tobservateur et utilisa- 

55 teur. 

La FIG.7D montre Timage numerique du pay- 
sage de la FIG.7C dans laquelle les defauts de 
distorsion et perspective ont ete corriges par les 
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moyens de I'invention. 

La methode generate de construction de I'ima- 
ge source comprend differentes etapes qui sont 
mises en oeuvre par le dispositif de traitement de 
signal decrit plus loin. 

Cette methode comprend d'abord une etape 

ou : 

- a chaque pixel m' ayant une adresse Ao 
dans i'image cibie lo, on fait correspondre un 
point m a une adresse Aq dans une image 
source, cette adresse etant definite par : 

- la reference ou index de la camera reelle qui 
va fournir I'image source ; 

- I'adresse Aq du point m dans cette image 
source. Cette methode comprend alors une 
seconde etape ou : 

- la valeur la plus probable de la luminance est 
evaluee en ce point m de I'image source, 

- puis cette valeur de luminance est affectee 
au pixel m' dans I'image cible. 

Ces etapes sont menees pour tous les pixels 
m' de I'image cible lo. 

Cependant, les moyens de traitement doivent 
rendre a I'image cible construite, toutes les qualites 
d'une image que I'observateur obtiendrait avec une 
camera mobile conventionnelle : 

- absence de distorsions, ajustage des pers- 
pectives, 

- absence de droite de coupure a la frontiere 
entre deux ou plusieurs images adjacentes. 

Le probleme est done de rendre ces droites fron- 
tiers invisibles. 

IV/ Le dispositif de traitement d'image dans 

ses elements essentiels 

La Fig. 2 montre sous forme de blocs fonction- 
nels les differents elements du dispositif de traite- 
ment d'image selon I'invention. 

Les blocs C1, Ci, Cj.., Cn represented les n 
cameras fixes reelles dont les sorties fournissent 
les n images sources notees 11,... li, lj.., In. 

Chacune des cameras reelles a des parame- 
tres de prise de vue correspondant a son orienta- 
tion par rapport a la scene, ainsi qu'un facteur 
d'echelle. Ces parametres doivent etre connus de 
maniere tres precise. 

Le bloc 1 represente un systeme de controle 
qui permet a I'utilisateur de choisir et d'afficher des 
parametres relatifs a I'orientation et a un facteur 
d'echelle de la camera virtuelle Co. 

Le bloc 100 est un systeme de reconstruction 
d'image qui permet de calculer, a partir des ima- 
ges sources 11. ...In fournies par les cameras reelles 
C1... Cn, I'image dite "image cible" lo qui serait 
donnee par la camera virtuelle Co orientee et re- 
glee avec les parametres definis par le systeme de 
controle 1, cette camera virtuelle Co etant dispo- 



sed de telle sorte que son point de fuite est 
confondu ou proche du point de fuite P des came- 
ras reelles. 

Le bloc 10 correspond a des moyens d'afficha- 

5 ge, ou bien d'enregistrement, qui peuvent etre en- 
tre autres, un moniteur d'affichage numerique pour 
I'affichage en temps reel et/ou un magnetoscope 
pour I'enregistrement sur bandes magnetiques et... 
D'autre part, il faut noter que les cameras 

w reelles peuvent fournir des donnees analogiques. 
Dans ce cas, des modules de conversion analogi- 
que-numerique non represented sont utilises pour 
former les images sources numeriques. 

D'une fagon avantageuse, I'homme du metier 

15 peut choisir des cameras a couplage de charges 
(CCD, de I'anglais Charge Coupled Device). Ce 
genre de camera est peu onereux, leger, robuste et 
fiable. Sa resolution est tres bonne, et peut encore 
augmenter dans le futur en fonction de devolution 

20 des technologies. 

V/ Le dispositif de traitement d'image dans 

ses elements detailles 

25 La Fig .3 montre un diagramme de blocs fonc- 

tionnels correspondant aux moyens essentiels pour 
realiser le traitement. 

Ces moyens comportent principalement : 

- une interface utilisateur 2, 

30 - un calculateur d'adresse 200, incluant un se- 
lecteur d'image source 205 ; 

- un interpolateur 112. 

- un generateur d'adresse 113 qui genere les 
adresses Ao des pixels de I'image cible lo, 

35 pixel par pixel, de maniere a couvrir la totalite 

de cette image cible lo, 

- des premiers moyens de stockage 210 des 
parametres <j>o, 8o, ^o et zo (le facteur 
d'echelle) de la camera virtuelle Co, 

40 - des seconds moyens de stockage 21.1 a 
21 .n des parametres <£1 a <t>n, 91 a 9n, ^1 a 
i^n et z1 a zn (les facteurs d'echelles des 
cameras reelles C1 a Cn) respectivement, 

- des troisiemes moyens de stockage 117. 

45 Pour chaque pixel m' de I'image cible lo a 

construire, une adresse Ao est stockee dans le 
bloc 113 generateur des adresses dans I'image 
cible lo. En fonction des reglages choisis par I'utili- 
sateur qui sont entres dans le bloc de controle 1 

50 au moyen d'une interface-utilisateur proprement 
dite 2, et qui sont stockes sous la forme des 
parametres 4>o, Go, i/'O et zo de la camera virtuelle 
dans le bloc 210, et en fonction des parametres <£i, 
8i, \p\ et zj (j representant ici I'indice de toutes les 

55 cameras de 1 a n) des cameras reelles qui sont 
stockes dans les blocs 21.1, 21 .j, 21 .n, le calcula- 
teur d'adresse 200 fournit I'index j (parmi tous les 
indices 1 a n) de la camera reelle Cj capable de 
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fournir i'image Ij ou trouver les donnees correspon- 
dant a I'adresse Ao du pixel m' de I'image cible lo. 

Alors le selecteur d'image 205 selectionne cet- 
te camera reelle Cj parmi les n cameras reelles, et 
fournit I'image source Ij correspondante ou trouver 
ces donnees a traiter. 

Le calculateur d'adresse 200, a partir des me- 
mes elements, calcule I'adresse Aq du point m 
correspondant dans cette image source Ij selec- 
tionnee, et ceci a travers les differentes transforma- 
tions ou perspectives imposees par I'utilisateur en 
2. 

Par ces operateurs, on etablit done une corres- 
pondance entre un pixel m' a une adresse donnee 
Ao de I'image cible lo, et un point m a une adresse 
calculee Aq d'une image source li. 

Puis, la valeur de la luminance au point m a 
I'adresse Aq dans I'image source Ij est determined, 
afin d'etre affectee au pixel correspondant m' a 
I'adresse Ao dans I'image cible lo. Et ainsi pour 
tous les pixels de I'image cible lo. 

Mais, alors que I'adresse Ao dans I'image cible 
lo est reellement celle d'un pixel m', a la differen- 
ce, I'adresse Aq dans I'image source li est precise- 
ment une adresse calculee, ce qui fait que, en 
general, cette adresse trouvee ne coincide pas 
avec un pixel, mais avec un point m dispose entre 
des pixels. La luminance de ce point m doit done 
etre egalement calculee. 

La Fig. 4 illustre le probleme qui se pose lors- 
que I'adresse Aq ne coincide avec aucun pixel 
d'une image source li. 

Ce probleme est traite par I'interpolateur 112. 

L'interpolateur 112 prend en compte i'intensite 
lumineuse, e'est-a-dire par exemple les niveaux de 
gris, ou une valeur d'une fonction de luminance 
des pixels d'un voisinage de I'adresse Aq, pour 
calculer I'intensite lumineuse a affecter a I'adresse 
Aq en question. Et par une methode d'interpolation, 
le bloc 112 calcule I'intensite la plus probable a 
affecter a I'adresse Aq. 

II existe plusieurs fonctions possibles d'interpo- 
lation qui sont plus ou moins complexes, et qui 
fournissent selon leur complexite, des resultats 
plus ou moins finement ajustes. 

Une fonction d'interpolation tres simple est In- 
terpolation bilineaire illustree par la Fig. 4. L'adresse 
Aq comporte une partie entiere et une partie frac- 
tionnaire. L'adresse Aq se trouve pour cette raison 
situee entre quatre pixels voisins ml, m2, m3, m4. 
La partie fractionnaire de l'adresse est representee 
par A x compte positivement de ml vers m2, et 
par A y compte positivement de ml vers m3. La 
distance entre ml et m3, et entre ml et m2 est de 
1 pixel. 

L'intensite F ou valeur de la fonction de lumi- 
nance a l'adresse Aq est calculee a partir des 
valeurs de Ax, Ay et des intensites (ou valeurs des 



fonctions de luminance) des pixels ml, m2, m3, 
m4 du voisinage, soit respectivement F1 , F2, F3, 
F4 

5 F{Aj) = F/(1 -Ax)(1 -Ay) + F2Ax(1 -Ay) + F3(1 -Ax)- 
Ay+ F4Ax.Ay 

L'intensite F(Aq) calculee par l'interpolateur a 
l'adresse Aq dans les images sources, est ensuite 
w attribute comme intensite (ou valeur de fonction de 
luminance) au pixel m' situe a l'adresse de depart 
Ao dans I'image cible lo, et stockee dans le bloc 
117. 

is VI/ Description du calculateur d'adresse 200 

En reference avec la FIG.6, le calculateur 
d'adresse 200 est decrit ci-apres en detail. 

Le calculateur d'adresse 200 prend d'abord en 
20 compte les parametres des cameras virtuelles et 
reelles telle que definis precedemment. 

Le parametres </>o, 8o, ^o et zo de la camera 
virtuelle sont disponibles dans le module de stoc- 
kage 210 ; les parametres <£1 a </>n, 81 a 8n, ^1 a 
25 ^n et z1 a zn des cameras reelles sont disponibles 
respectivement dans les modules de stockage 21.1 
a 21 .n. 

On a determine une definition des dimensions 
des images en nombre de pixels qui s'exprime par 

30 largeur x hauteur (en pixels). Done les facteurs zo 
ou zi d'echelle s'expriment en pixels/mm. Les an- 
gles sont exprimes par exemple en degres. 

Pour la camera virtuelle, ces parametres </>o, 
8o, ^o, zo sont calcules a partir de I'orientation ou 

35 positionnement de I'axe optique de la camera vir- 
tuelle, du positionnement de son point de fuite P et 
centre d'image Oo, et du facteur d'echelle choisis 
par I'utilisateur, entres sur I'interface 2. 

Pour les cameras reelles, les parametres <M a 

40 <j>n, 81 a 8n, ^1 a ^n, les distances focales P01 a 
POn, les facteurs d'echelle z1 a zn et le centre 01 
a On de I'image numerique sont determines de 
fagon tres precise, a partir de calibrages et mesu- 
res tres precises effectuees sur le positionnement 

45 du point P et centre 01 a On de chaque camera, 
son facteur d'echelle, et I'orientation ou positionne- 
ment de son axe optique. 

Le calculateur d'adresse 200 comprend ensuite 
des moyens 201 et 206 pour construire une mode- 

50 lisation de la camera virtuelle Co, et une modelisa- 
tion des cameras reelles C1, C2, C3,...Cn. 

La Fig.5A illustre le principe de modelisation 
des cameras virtuelle Co, et reelles C1, C2... Cn. 
Le modele de projection represents sur la Fig.5A 

55 est fonde sur une projection conique a travers un 
point selon laquelle tous les rayons optiques pas- 
sent par le seul point de fuite P (en anglais PIN- 
HOLE MODEL). Le point de fuite P (en anglais : 
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VIEW POINT) est suppose confondu pour toutes 
les cameras, reelles ou virtuelie, sous les condi- 
tions exposees precedemment. 

Le repere terrestre Px, Py, Pz, et le repere 
individuel de la camera virtuelie sont definis dans 
le module de construction 201 ; le repere terrestre 
Px, Py, Pz et les reperes individuels de chacune 
des cameras reelles C1 a Cn sont definis dans le 
module de construction 206. 

Supposons, en reference avec la Fig.5A que M 
soit un point objet situe dans une scene a surveil- 
ler. Le point m' correspondant a M dans le plan 
image de la camera virtuelie Co est situe a Inter- 
section de la droite PM avec le plan image lo 
(Ooxo, Ooyo) de la camera Co. 

II faut remarquer que le modele de la FIG.5A 
est directement valable pour la camera virtuelie qui 
est une camera ideale sans distorsions. Lorsque 
Ton a affaire a une camera reelle, par exemple 
munie d'un objectif a grand angle d'ouverture, il 
existe dans I'image des distorsions qu'il faut corri- 
ger. 

La FIG.5B illustre ce probleme. Cette figure 5B 
montre les traces des plans image cible lo, et 
image source Ij represented comme dans la 
FIG.1A. 

Le probleme a resoudre, pour construire I'ima- 
ge cible lo a partir des images sources II a In est 
de determiner a quelle adresse Aq on peut trouver 
le point m qui correspond exactement au pixel m' 
d'adresse Ao. On cherche en effet a determiner 
I'intensite qui existe dans I'image source en ce 
point m, pour pouvoir I'affecter au point m' dans 
I'image cible. 

Cette determination n'est pas simple du fait 
des defauts de distorsions et defauts de perspecti- 
ve qui affectent les cameras reelles. 

En reference avec la FIG.5B, on a represents 
comme dans la FIG.5A que le pixel m' d'adresse 
Ao se trouve a I'intersection du rayon lumineux PM 
avec I'image cible lo, PM etant le rayon qui joint le 
point de fuite P a un point M de la scene a 
observer puisque, dans cette camera ideale, tout 
rayon passant par le point de fuite P traverse le 
plan image sans deviation. 

Par ailleurs, ce rayon PM coupe le plan image 
source Ij en un point m*. La camera Cj sera done la 
camera reelle selectionnee pour fournir les don- 
nees necessaires a la construction de cette partie 
de I'image cible. 

Mais par contre, il n'est pas vrai que le point 
m* situe a I'intersection entre le meme rayon PM et 
le plan image source Ij soit le point correspondant 
de m' dans Ij capable de fournir la valeur d'intensi- 
te Fa affecter a ce point m'. 

II faut prendre en compte que la camera Cj, 
comme toute camera, comprend un objectif opti- 
que, qui forme une image reelle sur un substrat 



muni d'une matrice de CCD ; cette image reelle est 
ensuite transformed par un module de conversion 
analogique-numerique pour fournir I'image source 
numerique Ij qui est alors traitee par le dispositif de 

5 traitement d'image numerique selon I'invention. Du 
fait de la necessite d'utiliser un objectif a lentille, 
on peut considerer, comme il est montre schemati- 
quement sur la FIG.5B, que le rayon lumineux MP 
est devie par le champ de distorsion DF represente 

w en traits pointilles, ce qui fait que le point corres- 
pondant a m' n'est pas le point m* situe sur MP, 
mais bien un point m situe a une petite distance de 
m* dans le plan image source Ij. 

Avec les donnees relatives aux reperes terres- 

15 tre et individuel, le module de construction 201 
batit un modele MCo de camera virtuelie sur le 
modele de projection conique represente sur la 
FIG.5A, dans lequel tout rayon PM dans i'espace a 
3 dimensions correspond a un pixel m' dans I'es- 

20 pace a 2 dimensions constitue par le plan image 
cible lo, puisque la camera virtuelie Co est consi- 
dered comme un camera ideale. 

D'autre part, avec les donnees relatives au 
repere terrestre et aux reperes individuels, le mo- 

25 dule de construction 206 batit les modeles MC1 a 
MCn relatifs a chacune des cameras reelles, sur le 
modele de projection conique represente sur la 
FIG.5A, dans lequel tout rayon PM dans I'espace a 
3 dimensions correspond a un point m* dans I'es- 

30 pace a 2 dimensions constitue par le plan image 
source de chacune des cameras. Et, comme ces 
cameras ne sont pas des cameras ideales, mais 
presentent au contraire des distorsions, ce module 
206 de construction des modeles MC1 a MCn 

35 contient des moyens de corrections de distorsions 
qui permettent de remplacer systematiquement le 
point m* trouve, qui correspond a une image sour- 
ce distordue, par un point m dans le meme espace 
a deux dimensions, qui correspond a une image 

40 source corriged. Les moyens de correction des 
distorsions des objectifs peuvent etre tous moyens 
connus de I'homme du metier. 

Le calculateur d'adresse 200 comprend en ou- 
tre des moyens de calcul d'adresse proprement 

45 dits pour determiner I'adresse Aq de ce point m de 
I'image source distordue Ij. 

Ces moyens sont represented sous forme de 
blocs fonctionnels sur la FIG.6, et mettent en oeu- 
vre une methode du calcul de I'adresse Aq, decrite 

50 ci-apres, et illustred par la FIG.5B pour la clarte de 
I 'expose. 

VI a) La methode de calcul d'adresse 

55 Cette methode de calcul de I'adresse Aq cor- 

respondant a une adresse de depart Ao, comporte 
plusieurs etapes qui incluent au moins une trans- 
formation geometrique complexe qui est le produit 



10 



19 



EP 0 605 045 A1 



20 



de plusieurs transformations elementaires. Cette 
transformation geometrique est fondee sur le fait 
qu'il existe maintenant, grace au module 206 decrit 
precedemment, une correspondance entre chaque 
pixel m d'une image source d'une camera reelle et 
un rayon lumineux PM, dans I'espace a trois di- 
mensions, passant par le point de fuite P defini 
dans le modele de la camera. La localisation d'un 
pixel m dans i'image depend des parametres de la 
camera relatifs a la definition du modele de cette 
camera, alors que le rayon lumineux correspondant 
PM a une localisation dans I'espace a trois dimen- 
sions qui peut etre exprimee par rapport au "repe- 
re terrestre" fixe. 

La methode de calcul de I'adresse Aq a partir 
de Ao inclut les etapes suivantes : 

- une premiere transformation dite "transforma- 
tion-perspective inverse" notee H~ 1 , qui don- 
ne la direction du rayon lumineux PM corres- 
pondant a I'adresse de depart Ao dans I'ima- 
ge cible lo, 

- la recherche de I'index j la camera reelle Cj 
dont le champ de visee contient le rayon 
lumineux en question, et si plusieurs cameras 
sont concernees, du fait d'un recouvrement 
possible des champs de visee, le choix d'une 
camera appropriee, 

- une seconde transformation dite "transforma- 
tion-perspective directe" notee Hj, qui donne 
I'adresse Aq dans I'image Ij de la camera 
reelle Cj selectionnee, correspondant au 
rayon lumineux PM. 

Les deux transformations, inverse H~ 1 et direc- 
te H, s'appuient comme on I'a dit, sur la definition 
des modeles des cameras ayant un point de fuite 
P commun (en anglais : VIEW POINT OF THE 
PIN-HOLE MODEL). 

Pour realiser la transformation geometrique 
complexe H, on est amene a considerer en pre- 
mier une operation appelee "projection-perspecti- 
ve" J qui permet de passer du point M d'une 
scene, repere dans le repere terrestre (Px, Py, Pz), 
au point m positionne dans le plan image d'une 
camera reelle Ci, le point m etant alors repere dans 
le systeme orthonorme individuel lie a cette came- 
ra reelle, c'est-a-dire (Ojxj, Ojyj, Ojzj). 

L'operation "projection-perspective" J fait pas- 
ser, par une methode mathematique, le reperage 
d'un point d'un systeme a 3 dimensions, dans un 
systeme a 2 dimensions. Cette operation peut etre 
linearisee par I'utilisation des coordonnees homo- 
genes qui permet d'exprimer la transformation par 
une matrice 4x4. 

La transformation geometrique H dite "transfor- 
mation-perspective" est le produit de plusieurs ma- 
trices en coordonnees homogenes : 

T qui est une matrice representant une transla- 
tion, 



S qui est une matrice representent un change- 
ment d'echelle, 

J qui est la matrice "projection-perspective" 
dont on a parle plus haut, 
5 L qui est un changement d'origine, 

R qui est une rotation selon les angles <j>\, 6j, 

*J. 

ou <j)0, 0o, \j/0 selon le cas. 
La transformation geometrique directe s'expri- 
w me alors par : H = T * S * J * L * R, et la 
transformation geometrique inverse par : 

H-i = T" 1 * S" 1 * J" 1 * L" 1 * R _1 

is Cette transformation peut etre exprimee de 

maniere approchee par un ensemble de fonctions 
polynomials en utilisant par exemple la methode 
des moindres carres. 

La transformation approchee ainsi obtenue 

20 peut alors etre realisee au moyen d'un produit du 
commerce reference chez la firme TRW par 
TMC2302. L'adresse de cette firme est : PO Box 
2472, LA JOLLA, CA92038 (US). 

25 VI. b/ Description d'une mise en oeuvre parti- 
culiere du calculateur d'adresse 200 

Cette mise en oeuvre est illustree au moyen de 
blocs fonctionnels sur la FIG. 6, dans laquelle sont 
30 represented: 

- le bloc 201 qui est le premier module de 
construction du modele de la camera virtuelle 
MCo, 

- le bloc 210 qui est le premier module de 
35 stockage des parametres <#>o, Go, <£o, zo de 

la camera virtuelle imposes par I'utilisateur a 
('interface 2 du bloc de controle 1 , 

- le bloc 113 qui est le generateur des adres- 
ses Ao de tous les pixels m' de I'image cible 

40 lo, 

- le bloc 220 qui est un premier module de 
calcul de transformation geometrique qui re- 
goit les informations suivantes : 

* I'adresse Ao de m\ provenant du genera- 
45 teur d'adresse 113, 

* le modele MCo de la camera virtuelle pro- 
venant du module de construction 201, 

* les parametres <j>o, 8o, *Ao, zo de la came- 
ra virtuelle provenant du premier module 

50 de stockage 210 

Le bloc de calcul 220 determine, dans I'espace 
a 3 dimensions, la position du rayon PM passant 
par le point de fuite P et par le pixel m', a partir de 
la localisation de m* dans I'espace lo a deux di- 

55 mensions. Ce bloc de calcul 220 applique, a cet 
effet, la transformation perpective inverse : H~ 1 
decrite precedemment, 
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- le bloc 204 qui est un module de stockage 
de la position du rayon lumineux PM dans 
I'espace a 3 dimensions, position qui est 
fournie par le bloc de calcul 220, 

- le bloc de selection 205 qui est un module 
d'aiguillage, et qui, a partir du rayon PM 
localise, selectionne la camera reelle Cj, et 
fournit I'image source correspondante Ij dans 
laquelle trouver le point m recherche, 

- le bloc 206 qui est le second module de 
construction des modeles MC1 a MCn des 
cameras reelles, avec des moyens incorpo- 
res de corrections des distorsions, 

- les blocs 21.1 a 21 .n qui sont les blocs de 
stockages, dits seconds moyens de stocka- 
ge, des parametres </>1 a <j>r\, 61 a 8n, ^1 a 
^n, z1 a zn respectivement des cameras 
reelles, 

- les blocs 22.1 a 22n qui sont desdits se- 
conds modules de calcul de transformation 
geometrique, et qui recoivent respectivement 
les informations suivantes, 

* le signal de selection provenant du modu- 
le d'aiguillage 205, avec les informations 
relatives a I'image source Ij dans le cas 
decrit ici a titre d'exemple puisque la ca- 
mera Cj a ete selectionnee, 

* le modele MCj de la camera reelle Cj, 
provenant du second module de construc- 
tion 206, 

* les parametres <j>\, 8j, *£j, zj de la camera 
reelle Cj provenant du module de stocka- 
ge 21. j (seconds moyens de stockage), 
dans le cas decrit ici. Dans le cas present, 
le module de calcul 22.j (seconds moyens 
de calcul de transformation geometrique) 
calcule, dans I'espace a 2 dimensions 
constitue par le plan image source Ij, la 
localisation du point m, a partir de la loca- 
lisation fournie par le module de stockage 
204 du rayon lumineux PM, et ceci au 
moyen de la transformation perspective 
directe : Hj decrite precedemment (si le 
module d'aiguillage 205 avait selectionne 
une autre image source, alors un autre 
module de calcul 22.1 a 22. n aurait appli- 
que la transformation perspective directe 
appropriee H1 a Hn pour localiser le point 
m dans cette autre image source), 

- les blocs 23.1 a 23. n qui sont enfin des blocs 
de stockage des adresses Aq de chaque 
point m. Dans le cas present I'adresse Aq du 
point m recherche sera disponible dans le 
module de stockage 23. j. 

A la suite de ces operations effectuees dans le 
calculateur d'adresse 200, en reference avec la 
Fig.3, ce calculateur d'adresse 200 fournit alors au 
bloc interpolateur 112 I'adresse Aq, et ce dernier 



calcule la fonction de luminance F correspondante. 
L'image lo peut alors etre reconstitute dans le bloc 
de stockage 117 en faisant correspondre a chaque 
pixel m d'adresse Ao une valeur de la fonction F 
5 de luminance. L'image cible est maintenant recons- 
truite. 

En reference avec la Fig.2, l'image lo peut 
ensuite etre affichee, ou stockee dans les moyens 
10. 

w Si on se trouve dans le cas ou plusieurs ima- 

ges sources sont possibles, par exemple parce 
qu'on a recouvrement des images sources dans 
une region frontiere, le bloc de selection 205 
contient des moyens pour choisir une seule des 

15 deux images-sources. 

Une methode de selection entre deux images 
consiste a decider que le raccord entre deux ima- 
ges dans la region frontiere est constitue par une 
ligne droite qui passe sensiblement au milieu de la 

20 zone de recouvrement. Cette convention est appli- 
cable au cas des cameras juxtaposees horizontale- 
ment comme sur la Fig.1 avec des raccords verti- 
caux. 

L'homme du metier peut choisir toutes sortes 
25 de raccords. Par exemple des raccords disposes 
radialement sur des coniques. 

En remarque, on peut noter que ce qui a ete 
dit pour le codage des pixels en niveau de gris 
peut s'appliquer au codage d'une image couleur. 
30 Le codage s'effectue simplement sur un plus grand 
nombre de bits. 

On notera que, pour qu'aucun raccord ne soit 
sensible dans l'image cible, il est necessaire de 
prendre plusieurs mesures : 
35 - la calibration precise des cameras fixes, 

- la correction des resultats par des reboucla- 
ges, suivie d'une modification eventuelle des 
parametres des modeles des cameras fixes 
juqu'a ce qu'on obtienne une juxtaposition 
40 parfaite conduisant a une image cible sans 

defaut. 

Cette operation, ou initialisation, doit etre com- 
prise comme une partie integrante de I'operation 
de calibrage. 

45 On rappelle en outre, que des corrections de 

distorsion sont a appliquer a chaque image source 
pour la construction des modeles MC1 a MCn. II 
existe dans le commerce des dispositifs capables 
de realiser ces operations. La verification de I'ope- 

50 ration parfaite des correcteurs de distorsion utilises 
est aussi partie integrante du calibrage. 

Par ailleurs, les differentes cameras reelles 
peuvent montrer des courbes de reponse en inten- 
sity de niveau de gris ou couleur qui different. II est 

55 necessaire lors du calibrage d'effectuer une correc- 
tion de ces reponses individuelles pour uniformiser 
l'image virtuelle. 
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L'interface utilisateur 2 peut etre commandee 
automatiquement, ou bien manuellement. Dans un 
exemple de mise en oeuvre cette interface peut 
etre un levier orientable (en anglais JOY-STICK). 



de site (<j>o) et rotation (^o) dans le repe- 
re orthonorme fixe de reference (Px, Py, 
Pz). 

- la construction d'un modele de camera 
dite virtuelle pour fournir I'image cible 
avec un point de fuite sensiblement com- 
mun avec celui des images sources. 



3. Procede selon la revendication 2, caracterise 
en ce qu'il comprend aussi des etapes de : 

- generation d'une adresse (Ao) pour cha- 
cun des pixels de I'image cible (lo), pixel 
par pixel, de maniere a couvrir la totalite 
de I'image cible (lo), 

- determination de I'image source parti- 
culiere (Ij) et de I'adresse (Aq), dans 
cette image source, du point correspon- 
dant a chaque pixel de I'image cible (lo), 
a partir des parametres des images sour- 
ce et cible. 

4. Procede selon la revendication 3, caracterise 
en ce que la determination de I'adresse (Aq) 
du point dit correspondant trouve dans une 
image source (Ij) inclut : 

- une etape de determination, a partir de 
I'adresse (Ao) d'un pixel de depart (m) 
dans I'image cible (lo), de I'orientation, 
dans le repere orthonorme fixe de refe- 
rence (Px, Py, Pz) d'origine au point de 
fuite, du rayon lumineux passant par ce 
pixel donne (m) et par le point de fuite 
commun (P), 

- une etape de selection de I'image source 
(Ij) traversed par ce rayon lumineux (Px), 

- et une etape de determination de I'adres- 
se (Aq), dans cette image source, du 
point d'intersection de ce rayon lumineux 
avec cette image source, ce point etant 
le point correspondant au pixel de de- 
part. 

5. Procede selon la revendication 4, caracterise 
en ce que : 

- I'etape de determination de la position du 
rayon lumineux dans le repere de refe- 
rence comprend une transformation geo- 
metrique de perspective dite "transfor- 
mation de perspective inverse" (Ho -1 ) 
qui prend en compte le modele de la 
camera virtuelle, 

- I'etape de determination de I'adresse 
(Aq) du point dit correspondant au pixel 
de depart, comprend des transformations 
geometriques de perspective (H1-Hn) di- 
tes transformations de perspective direc- 
tes, qui, selon I'image source particuliere 
selectionnee, prennent en compte res- 
pectivement le modele de la camera 
reelle correspondante. 

6. Procede selon Tune des revendications 1 ou 5, 
55 caracterise en ce qu'il comprend une etape d' 

- interpolation pour calculer une valeur 
d'une fonction de luminance (F) la plus 



5 

Revendications 

1. Procede de traitement d'images, pour construi- 
re une image dite cible (lo), a partir d'images 
adjacentes, de cadrage fixe, dites images sour- w 
ces (11,..., li, Ij...., In), lesdites images cible et 
source ayant des points de fuite sensiblement 
confondus, caracterise en ce qu'il com- 
prend des etapes de : 

- numerisation des images, w 

- determination, pour un des pixels de 
I'image cible (lo), de I'adresse (Aq) d'un 
point dit correspondant, dans une image 
source (Ij) parmi toutes les images sour- 
ces, 20 

- determination de la valeur (F) de la lumi- 
nance en ce point correspondant, 

- attribution au pixel de depart dans I'ima- 
ge cible (lo) de la valeur de luminance 
(F) de ce pixel correspondant, 25 

- et repetition de ces etapes pour chacun 
des pixels de I'image cible (lo). 

2. Procede selon la revendication 1, caracterise 
en ce qu'il comprend une etape de calibrage 30 
incluant : 

- le stockage des parametres des images 
sources, parmi lesquels les facteurs 
d'echelle (z1... zn) et I'orientation des 
axes optiques concretised par les angles 35 
d'azimut (01... 0n), de site (<£1... 4>n) et 
de rotation (^1... ^n) dans un repere 
orthonorme fixe, de reference (Px, Py, 
Pz), 

- la construction de modeles de cameras 40 
dites reelles pour fournir les images 
sources avec un point de fuite sensible- 
ment commun confondu avec I'origine du 
repere de reference et avec aberrations 
corrigees, et en ce qu'il comprend une 45 
etape d'entree de donnees incluant : 

- le stockage des parametres de I'image 
cible parmi lesquels le facteur d'echelle 
(zo) et I'orientation de son axe optique 
concretised par son angle d'azimut (80), 50 
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probable a I'adresse (Aq) trouvee i'image 
source (Ij). 

7. Dispositif de traitement d'images incluant : 

- un systeme de n cameras reelles fixes 5 
(C1 5 ... Ci, Cj, ... Cn), disposees de manie- 

re a ce que ieurs champs de vue indivi- 
duals fusionnent pour former un seul 
champ de vue de grand angle pour i'ob- 
servation d'une scene panoramique, w 

- un systeme de construction d'image 
(100) simulant une camera dite virtuelle 
(Co), mobile, balayant continuement la 
scene panoramique pour en fournir une 
sous-image dite cible (lo), correspondant w 
a une section arbitraire du champ de vue 

de grand angle, et construite a partir des 
images dites sources (11,. ..li, Ij... In) adja- 
centes fournies par les n cameras reel- 
les, cette camera virtuelle (Co) ayant un 20 
point de fuite (P) confondu avec, ou pro- 
che de celui des cameras reelles, carac- 
terise en ce que ce systeme de traite- 
ment d'image est numerique et en ce 
que le systeme de construction (100) de 25 
I'image cible lo inclut : 

- un calculateur d'adresse (200), pour faire 
correspondre a une adresse (Ao) d'un 
pixel dans I'image cible (lo), un point a 

une adresse (Aq) dans une des images 30 
sources (11 -In), 

- des moyens (112, 117) pour calculer la 
valeur (F) de luminance du point a 
I'adresse (Aq) trouvee dans I'image sour- 
ce (11 -In), et pour affecter cette valeur (F) 35 
de luminance au pixel de depart a 
I'adresse (Ao) dans I'image cible (lo). 

8. Dispositif selon la revendication 7, caracterise 

en ce que le systeme (100) de reconstruction 40 
de I'image cible (lo) comprend : 

- des premiers moyens de stockage (210) 
des parametres relatifs a la camera vir- 
tuelle pour fournir au calculateur d'adres- 
se (200) le facteur d'echelle (zo) et 45 
I'orientation de I'axe optique de la came- 
ra virtuelle (Co) dans un repere terrestre 
orthonorme (Px, Py, Pz) fixe et indepen- 
dant des cameras, c'est-a-dire ses an- 
gles d'azimut (Go), de site (<f>o) et de 50 
rotation (\po) ; 

- des seconds moyens de stockage (21.1- 
21 .n) des parametres relatifs aux came- 
ras reelles (C1-Cn) pour fournir au cal- 
culateur d'adresse (200) le facteur 55 
d'echelle (z1-zn) et I'orientation de I'axe 
optique de chacune des cameras reelles 
(C1,..Ci, Cj, Cn) c'est-a-dire Ieurs angles 



d'azimut (01 - Gn), de site (</>1 - <j>n) et 
de rotation (^1 - ^n) dans ledit repere 
terrestre fixe ; 

- un generateur d'adresse (113) pour ge- 
nerer les adresses (Ao) des pixels de 
I'image cible (lo), pixel par pixel, de ma- 
niere a couvrir la totalite de I'image cible 
(lo), le calculateur d'adresse (200) deter- 
minant alors I'image source particuliere 
(Cj) et le point a I'adresse (Aq) dans 
cette image source, qui correspond a 
chaque pixel de I'image cible (lo) a partir 
des parametres des cameras virtuelle et 
reelles. 

9. Dispositif selon la revendication 8, caracterise 
en ce que le calculateur d'adresse (200) com- 
porte : 

- des premiers moyens de construction 
(201) d'un modeie (MCo) de camera vir- 
tuelle avec projection a travers le point 
de fuite P, 

- des seconds moyens de construction 
(206) de modeies (MC1-MCn) de came- 
ras reelles, avec projection a travers le 
point de fuite P, et avec corrections des 
distorsions et defauts de perspective. 

10. Dispositif selon la revendication 9, caracterise 
en ce que le calculateur d'adresse (200) com- 
porte : 

- des premiers moyens de calcul de trans- 
formation geometrique (220) pour appli- 
quer a chaque pixel (m) a une adresse 
(Ao) de I'image (lo) de la camera virtuelle 
(Co), une transformation geometrique 
dite "transformation perspective" inverse 
(H~ 1 ), qui prend en compte le modeie de 
la camera virtuelle MCo fourni par les 
premiers moyens de construction (201), 
et les parametres angulaires d'azimut 
(80), de site (<f>o), de rotation ($0) et le 
facteur d'echelle (zo) de cette camera 
virtuelle, fournis par les premiers moyens 
de stockage (240), pour determiner a 
partir de cette transformation perspective 
inverse (H~ 1 ), le positionnement dans 
ledit repere terrestre, du rayon lumineux 
passant par ce pixel (m) et le point de 
fuite (P), 

- des moyens (204) pour stocker le posi- 
tionnement du rayon lumineux obtenu 
par la transformation perspective inverse 
(Ho 1 ), 

- des moyens de selection (205) pour se- 
lectionner I'image source particuliere (11- 
In) traversee par ce rayon lumineux, 
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- des seconds moyens de calcul de trans- 
formation geometrique (22.1 -22. n) pour 
appliquer a ce rayon lumineux dans iedit 
repere terrestre, une transformation geo- 
metrique dite "transformation perspective 
directe" (H1-Hn), qui prend en compte 
les modeles des cameras reelles fournis 
par les seconds moyens de construction 
(206), les parametres anguiaires d'azimut 
(01 -0n) de site (<^1-^n), de rotation (i£1- 
t^n), et le facteur d'echelle (z1-zn) de la 
camera (C1-Cn) reelle correspondante, 
fournis par les seconds moyens de stoc- 
kage (21.1-21.ri), 

- et des moyens de stockage (23.1 -23. n) 
pour fournir, a partir de cette transforma- 
tion perspective directe (H1-Hn), I'adres- 
se (Aq) dans I'image source particuiiere 
(11 -In) qui correspond au rayon lumineux, 
et done au pixel d'adresse (Ao) dans 
Timage cible (lo). 

11. Dispositif selon la revendication precedente 10, 
caracterise en ce que les moyens de determi- 
nation de luminance comprennent : 

- un interpolateur (112) pour calculer une 
valeur la plus probable d'une fonction de 
luminance (F) a I'adresse (Aq) trouvee 
par le calculateur d'adresse (200) dans 
I'image source fournie les moyens de 
selection (205) ; 

- des troisiemes moyens de stockage 
(117) pour affecter la valeur (F) de lumi- 
nance correspondant a I'adresse (Aq) 
trouvee dans I'image source, au pixel de 
depart dans I'image cible (lo) a I'adresse 
(Ao) fournie par le generateur d'adresse 
(113). 

12. Dispositif selon Tune des revendications prece- 
dentes, caracterise en ce que le systeme (100) 
de reconstruction de I'image cible (lo) com- 
prend aussi : 

- une interface (2) pour permettre a un 
utilisateur de definir les parametres de la 
camera virtuelle (Co), ces parametres in- 
cluant son facteur d'echelle (zo) et 
('orientation de son axe optique (Go, <j>o, 
*o). 

13. Dispositif selon la revendication 12, caracterise 
en ce que interface utilisateur (2) est com- 
mandee automatiquement ou manuellement. 

14. Dispositif selon Tune des revendications prece- 
dentes, caracterise en ce que I'image cible (lo) 
est affichee en temps reel sur un ecran (10). 



15. Dispositif selon Tune des revendications prece- 
dentes, caracterise en ce que I'image cible (lo) 
est enregistree. 

5 16. Dispositif de surveillance muni d'un dispositif 
de traitement d'image selon Tune des revendi- 
cations 1 a 9. 
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